Interactive Sonification Strategies for the Motion and Emotion of Dance Performances

Sonification has the potential to communicate a variety of data types to listeners including not just cognitive information, but also emotions and aesthetics. The goal of our dancer sonification project is to “sonify emotions as well as motions” of a dance performance via musical sonification. To this end, we developed and evaluated sonification strategies for adding a layer of emotional mappings to data sonification. Experiment 1 developed and evaluated four musical sonifications (i.e., sin-ification, MIDI-fication, melody module, and melody and arrangement module) to see their emotional effects. Videos were recorded of a professional dancer interacting with each of the four musical sonification strategies. Forty-eight participants provided ratings of musicality, emotional expressivity, and sound-motion/emotion compatibility via an online survey. Results suggest that increasing musical mappings led to higher ratings for each dimension for dance-type gestures. Experiment 2 used the musical sonification framework to develop four sonification scenarios that aimed to communicate a target emotion (happy, sad, angry, and tender). Thirty participants compared four interactive sonification scenarios with four pre-composed dance choreographies featuring the same musical and gestural palettes. Both forced choice and multi-dimensional emotional evaluations were collected, as well as motion/emotion compatibility ratings. Results show that having both music and dance led to higher accuracy scores for most target emotions, compared to music or dance conditions alone. These findings can contribute to the fields of movement sonification, algorithmic music composition, as well as affective computing in general, by describing strategies for conveying emotion through sound.

超音波化は、認知情報だけでなく、感情や美意識など、様々なデータを聴き手に伝える可能性を秘めています。私たちのダンサーソニフィケーションプロジェクトの目標は、音楽的なソニフィケーションによってダンスパフォーマンスの「感情と動きをソニフィケーションする」ことです。この目的のために、データの超音波化に感情マッピングの層を追加するための超音波化戦略を開発し、評価した。実験1では、4つの音楽的ソニフィケーション（sin-ification、MIDI-fication、Melody module、Melody and arrangement module）を開発し、それらの感情的効果を評価しました。プロのダンサーが4つの音楽的ソニフィケーション戦略と相互作用している様子をビデオに記録した。48人の参加者は、音楽性、感情表現力、音と動きと感情の適合性をオンライン調査で評価しました。その結果、音楽的マッピングを増やすことで、ダンス型ジェスチャーの各次元の評価が高くなったことが示唆された。実験2では、音楽的超音波化のフレームワークを用いて、目標とする感情（嬉しい、悲しい、怒っている、優しい）を伝えることを目的とした4つの超音波化シナリオを開発しました。30人の参加者は、4つのインタラクティブな超音化シナリオと、同じ音楽とジェスチャーパレットを使った4つのダンス振り付けを比較した。強制的な選択と多次元的な感情評価、および動作/感情の適合性評価が収集されました。その結果、音楽とダンスの両方を使用した場合、音楽またはダンスのみの場合と比較して、ほとんどの対象感情について高い精度のスコアが得られることがわかりました。これらの知見は、音を介して感情を伝えるための戦略を記述することで、運動の超音波化、アルゴリズム音楽作曲、感情コンピューティング全般の分野に貢献することができます。